Khoảng năm 1557 ông trở về Owari với gia tộc Oda, giờ đây do Oda Nobunaga lãnh đạo, với thân phận một người hầu thấp bé, ông trở thành người mang dép cho Nobunaga và lần đầu lập công trong trận Okehazama năm 1560 khi Nobunaga tiêu diệt Yoshimoto để trở thành lãnh chúa mạnh nhất thời Sengoku. Theo người ghi chép tiểu sử cho ông, Hideyoshi phụ trách giám sát việc sửa chữa lâu đài Kiyosu dù có ý kiến cho rằng việc này "chưa rõ ràng"[2], và có thể ông chỉ là người quản lý nhà bếp khi đó. Năm 1561, Hideyoshi kết hôn với Nene. Ông tiến hành việc sủa chữa lâu đài Sunomata cùng với người em Toyotomi Hidenaga và mấy tên cướp Hachisuka Masakatsu và Maeno Nagayasu. Công sức của Hideyoshi được đền đáp xứng đáng vì Sunomata nằm trên đất của kẻ địch. Theo các chuyện kể lại, ông xây dựng một pháo đài ở Sunomata[3] và khám phá ra con đường bí mật vào núi Inaba, một trong các nguyên nhân sau đó khiến nhiều binh lính đồn trú của địch phải đầu hàng.

Hideyoshi là một nhà thương thuyết tài ba. Năm 1564, bằng cách hối lộ, ông thuyết phục được một số lượng lớn lãnh chúa ở Mino rời bỏ gia tộc Saito. Hideyoshi tiếp cận rất nhiều samurai nhà Saito bao gồm cả chiến lược gia của nhà Saito là Takenaka Hanbei, thuyết phục họ quy thuận Nobunaga,. Chiến thắng dễ dàng của Nobunaga ở lâu đài Inabayama năm 1567 phần lớn là nhờ công của Hideyoshi, bất chấp xuất thân nông dân của mình, Hideyoshi sau đó trở thành một trong những tướng quân sáng giá nhất của Nobunaga, cuối cùng lấy tên là Hashiba Hideyoshi. Họ mới của ông bao gồm hai chữ của một trong hai người tin cẩn nhất của Oda là Niwa Nagahide và Shibata Katsuie.

Hideyoshi lãnh đạo quân đội trong trận Anegawa năm 1570, lúc đó Oda Nobunaga liên minh mà sau này là kẻ thù tương Tokugawa Ieyasu (người cuối cùng hạ bệ con trai của Hideyoshi và thống trị Nhật Bản), vây hãm hai pháo đài của nhà Azai và nhà Asakura[4]. Năm 1573, sau chiến dịch thắng lợi trước hai nhà Azai và Asakura, Nobunaga bổ nhiệm Hideyoshi làm daimyo của ba quận phía Bắc tỉnh Ōmi. Ban đầu đóng trại ở đại bản doanh cũ của nhà Azai ở Odani, Hideyoshi sau đó chuyển về Kunitomo, và đổi tên thành phố là Nagahama để tỏ lòng kính trọng với Nobunaga. Hideyoshi sau đó chuyển đến cảng Imahama bên hồ Biwa. Từ đây ông bắt đầu xây dựng lâu đài Imahama và kiểm soát công xưởng sản xuất súng hỏa mai Kunitomo gần đó, vốn được hai nhà Azai và Asakura khởi công vài năm trước. Dưới sự quản lý của Hideyoshi, sản lượng của nhà máy tăng nhanh chóng[5].

Sau vụ ám sát Oda Nobunaga và con trưởng Nobutada năm 1582 bởi tay Akechi Mitsuhide, Hideyoshi tiêu diệt Akechi trong trận Yamazaki.

Trong hội nghị quyết định người kế thừa Nobunaga, Hideyoshi gạt qua ứng cử viên hiển nhiên là Oda Nobutaka và cùng với đại tướng của gia tộc Oda, Shibata Katsuie, ủng hộ người con còn trẻ của Nobutada, Oda Hidenobu[6]. Có được sự ủng hộ của hai trưởng lão nhà Oda, Niwa Nagahide và Ikeda Tsuneoki, Hideyoshi đặt Hidenobu lên ngôi, cùng với ảnh hưởng của chính ông ta lên toàn gia tộc Oda. Căng thẳng nhanh chóng leo thang giữa Hideyoshi và Katsuie, và trong trận Shizugatake năm sau đó, Hideyoshi tiêu diệt quân đội của Katsuie[7] và từ đó tập trung quyền lực trong tay mình, kiểm soát gần như mọi hoạt động của nhà Oda.

Năm 1583, Hideyoshi bắt đầu xây dựng lâu đài Osaka. Xây dựng trên nền ngôi đền Ishiyama Honganji vốn bị Nobunaga san phẳng[8], lâu đài sau này sẽ trở thành pháo đài cuối cùng của gia tộc Toyotomi sau cái chết của Hideyoshi.

Người con khác của Nobunaga, Oda Nobukatsu, vẫn giữ mối thù với Hideyoshi. Ông liên minh với Tokugawa Ieyasu, và hai bên giao tranh bất phân thắng bại trận Komaki và Nagakute. Nó cuối cùng dẫn đến một sự bế tắc, mặc dù lực lượng của Hideyoshi bị tổn thất nặng nề[3]. Cuối cùng, Hashiba ký hòa ước với Nobukatsu, kế thúc nguyên cớ cuộc chiến giữa hai nhà Tokugawa và Hashiba. Hideyoshi gửi đến cho Tokugawa Ieyasu chị gái và mẹ làm con tin. Ieyasu cuối cùng đồng ý trở thành chư hầu của Hideyoshi.